Olyphant ra mắt năm 1995 tại sân khấu Off-Broadway chuyên nghiệp năm 1995 với vai Tim Hapgood trong vở The Monogamist của Playwrights Horizons, qua đó nhận giải Theatre World.[7] Năm 1996, anh xuất hiện trong vở kịch độc diễn SantaLand Diaries do David Sedaris viết và do Joe Mantello chuyển thể và đạo diễn,[8] cũng như xuất hiện trong vở kịch Plunge.

Sau đó, Olyphant quay về Los Angeles và tìm việc trong ngành truyền hình. Năm 195 anh lần đầu bắt đầu nghiệp diễn trên TV trong tập phim thử nghiệp của sê-ri làm lại 77 Sunset Strip do Clint Eastwood sản xuất. Anh cũng được nhận diễn trong tập thử nghiệp của sê-ri Mr. & Mrs. Smith (1996) của đài CBS trong vai Scooby.[9] Olyphant diễn ba tập của phim truyền hình đề tài cảnh sát High Incident và phim truyền hình Ellen Foster (1997) của Hallmark Channel. Năm 1998, anh góp mặt trong phim When Trumpets Fade - một phim lấy đề tài là trận chiến rừng Hürtgen năm 1944 - của HBO. Năm 1998, anh được mời diễn trong tậo phim "Valley of the Twenty Something Guys" của sê-ri Sex and the City trong vai bạn trai của Carrie Bradshaw.

Olyphant lần đầu diễn xuất trong phim điện ảnh với một vai nhỏ trong phim The First Wives Club (1996). Anh xuất hiện thoáng qua trong phim A Life Less Ordinary (1997) và thu hút sự chú ý của khán giả qua sự góp mặt trong phim kinh dị Scream 2 (1997). Anh đóng vai kẻ buôn ma túy trong phim hài Go (1999). Các phim tiếp theo có anh diễn là Advice from a Caterpillar (1999), No Vacancy (1999), The Broken Hearts Club: A Romantic Comedy (2000), Gone in 60 Seconds (2000), Rock Star (2001) và Dreamcatcher (2003). Năm 2004, anh đóng vai một nhà sản xuất phim khiêu dâm trong phim The Girl Next Door.

Từ 2004 đến 2006, Olyphant vào vai vị cảnh sát trưởng Seth Bullock trong sê-ri Deadwood của HBO trong ba mùa phim. Anh xem đó là một trong những vai chính đầu tiên thể hiện sự "phức tạp" và "tinh tế".[10]

Tháng 1 năm 2007, anh tham gia phim hài Catch and Release bên nữ diễn viên Jennifer Garner. Để diễn trong phim này, anh đã vượt qua nhiều nam diễn viên tên tuổi khác, trong đó có cả Matthew Fox.[11] Được biết Olyphant từng học diễn xuất với Garner khi anh mới chuyển đến New York.[2] Sau đó, anh tham gia phim Live Free or Die Hard cùng với Bruce Willis trong vai kẻ khủng bố trên mạng Thomas Gabriel. Cũng trong năm 2007, anh cạo trọc đầu để vào vai chính Đặc vụ 47 trong phim Hitman. Năm 2008, các phim có anh tham gia là Stop-Loss (kể về chiến tranh Iraq), Meet Bill (phim hài có Aaron Eckhart và Jessica Alba) và lồng tiếng cho trò chơi điện tử Turok.

Olyphant còn là bình luận viên thể thao không nhận lương cho show truyền thanh buổi sáng trên sóng truyền thanh Indie 103.1 ở Los Angeles cho đến khi kênh này chấm dứt vào tháng 1 năm 2009.

Tháng 6 năm 2008, anh tham gia sê-ri Damages của FX với vai Glenn Close. Cùng lúc đó, anh cũng tham gia hài kịch tình huống Samantha Who? nhưng sau anh được thay bởi Billy Zane.[12] Năm 2009, anh diễn cùng Steve Zahn và Milla Jovovich trong phim A Perfect Getaway với vai một cựu chiến binh chiến tranh Iraq nhưng có thể cũng là một kẻ giết người hàng loạt. Năm 2010, anh vào vai cảnh sát trưởng thị trấn trong bản làm lại của phim The Crazies.

Mùa xuân năm 2010, Olyphant nhận vai chính Raylan Givens trong sê-ri Justified của FX. Trong phim, Givens đội nón Stetson và hành xử như một cảnh sát trưởng của miền Viễn Tây hoang dã dù rằng đó là vào thế kỉ 21. Sê-ri dựa trên nhân vật của Elmore Leonard trong các tiểu thuyết Pronto và Riding the Rap và truyện ngắn "Fire in the Hole". Cũng trong năm 2010, anh diễn hai tập trong mùa 7 của hài kịch The Office (kênh NBC). Năm 2011, anh lồng tiếng Spirit of the West cho phim hoạt hình Rango.